Auto merge of #1775 - alexcrichton:update-cargo-lock, r=alexcrichton

Update Cargo.lock for updated version

Auto merge of #1770 - alexcrichton:shell, r=alexcrichton

Tweaked version of https://github.com/rust-lang/cargo/pull/1673.

Tweak escaping on Windows shells

Also detect if we're on Windows whether we're an MSYS or cmd.exe shell at
runtime

Auto merge of #1760 - jdub:cc-to-gcc, r=alexcrichton

Don't conditionally compile escaping strategies

Compile them both in and select at runtime.

Merge branch 'shell-escape' of https://github.com/bluss/cargo into shell

Use gcc crate in native build script example

Auto merge of #1761 - jdub:1684-target-examples, r=alexcrichton

Fixes rust-lang/cargo#1684

Add path and target file dependency examples

Fixes rust-lang/cargo#1684

Auto merge of #1765 - gentoo90:bash-comp, r=alexcrichton

Bashcompletion for rustc, search and help commands

Auto merge of #1753 - alexcrichton:bump, r=brson

r? @brson

Auto merge of #1757 - alexcrichton:fix-msvc-build, r=huonw

This commit updates Cargo's unit tests to pass `make check` entirely on MSVC
targets. Two tests are ignored on MSVC as it requires panicking to be
implemented, which currently isn't, but otherwise Cargo is fully functional.

Get `make test` working on MSVC

This commit updates Cargo's unit tests to pass `make check` entirely on MSVC
targets. Two tests are ignored on MSVC as it requires panicking to be
implemented, which currently isn't, but otherwise Cargo is fully functional.

Auto merge of #1755 - tshepang:email-got-envvar, r=alexcrichton

Auto merge of #1756 - tshepang:match-names-below, r=alexcrichton

use $EMAIL environment variable as fallback

test: names used in .cargo/config are new-foo and new-bar, so match them

Auto merge of #1754 - tshepang:patch-1, r=steveklabnik

the sentence with poor grammar was not even needed

Bump version to 0.4.0

Auto merge of #1746 - alexcrichton:less-git-operations, r=huonw

This enables libgit2 to not traverse the majority of the tree, saving a lot of
otherwise unnecessary syscalls.

For me this locally reduced the `cargo test` time of winapi-rs from 1.2s to 0.27s

Filter statuses only by the relevant path

This enables libgit2 to not traverse the majority of the tree, saving a lot of
otherwise unnecessary syscalls.

Auto merge of #1742 - dhuseby:updating_installer_to_fix_bitrig, r=alexcrichton

this pulls in the recent installer fix for bitrig.

updating rust installer dependency to fix bitrig

Auto merge of #1724 - alexcrichton:msvc, r=brson

* Download all snapshots and such from static.rust-lang.org (drive-by fix)
* Update dependencies to work and build on MSVC
  * ssh2-sys uses `nmake` to build libssh2
  * libgit2-sys uses `cmake` to build libgit2
  * curl-sys uses `nmake` to build libcurl
  * libz-sys uses `nmake` to build zlib
  * miniz-sys uses `gcc-rs` to drive `cl.exe` manually
  * term updated to pick up windows-specific deps on MSVC
* Updated .travis.install.deps.sh to install MSVC target libraries on Windows,
  so the compiler can be used to target MSVC. A 64-bit target is now used by
  default as well.
* Updated the configure script and Makefile to set appropriate environment
  variables to build Cargo from a MSYS shell with a MSVC target. This is similar
  to how Rust bootstraps on MSVC as well.

With this commit Cargo can successfully bootstrap itself on MSVC (use the MSVC
product to build itself again). The tests currently do not pass because
unwinding is not implemented, but soon!

Closes #1725

Fix build on MSVC

* Download all snapshots and such from static.rust-lang.org (drive-by fix)
* Update dependencies to work and build on MSVC
  * ssh2-sys uses `nmake` to build libssh2
  * libgit2-sys uses `cmake` to build libgit2
  * curl-sys uses `nmake` to build libcurl
  * libz-sys uses `nmake` to build zlib
  * miniz-sys uses `gcc-rs` to drive `cl.exe` manually
  * term updated to pick up windows-specific deps on MSVC
* Updated .travis.install.deps.sh to install MSVC target libraries on Windows,
  so the compiler can be used to target MSVC. A 64-bit target is now used by
  default as well.
* Updated the configure script and Makefile to set appropriate environment
  variables to build Cargo from a MSYS shell with a MSVC target. This is similar
  to how Rust bootstraps on MSVC as well.

With this commit Cargo can successfully bootstrap itself on MSVC (use the MSVC
product to build itself again). The tests currently do not pass because
unwinding is not implemented, but soon!

Auto merge of #1740 - alexcrichton:update-toml, r=alexcrichton

Closes #1739

Bump toml to improve errors on enums

Closes #1739

Auto merge of #1735 - Byron:term-0.2.9-compatibility, r=alexcrichton

When attempting to compile cargo with the latest `term` crate,
one would face compilation issues due to an attempt to declare
a `Terminal` type without its apparently new associated type
called `Output`.

The fix involves the removal of the `UghWHyIsThisNecessary` type,
and declares the `Terminal` type as
`Terminal<Output=Box<Write + Send>>`.

**Note:** The reason I ran into this was an accidental update to the `Cargo.lock` file, which pulled in the said version of `term`.

Auto merge of #1737 - Byron:doc-fix, r=alexcrichton

As stated [in code](https://goo.gl/8xMl4a), benchmarks are to be found
in the 'benches' directory, not in the 'examples' directory.

Added EOF to shell.rs

Correction of benchmarks directory

As stated [in code](https://goo.gl/8xMl4a), benchmarks are to be found
in the 'benches' directory, not in the 'examples' directory.

Compatibility with `term` *0.2.9*

When attempting to compile cargo with the latest `term` crate,
one would face compilation issues due to an attempt to declare
a `Terminal` type without its apparently new associated type
called `Output`.

The fix involves the removal of the `UghWHyIsThisNecessary` type,
and declares the `Terminal` type as
`Terminal<Output=Box<Write + Send>>`.

Auto merge of #1733 - wackywendell:project-layout, r=steveklabnik

I have several times found myself trying to remember where to put examples, and getting frustrated looking for it in the guide - because its not there, its in the manifest description, which I find to be a non-intuitive place for it. I thought it might help to unify the project layout sections between "The Guide" and "Manifest Description", and have them both link to each other for explanations where needed.

Of course, I am very willing to take any suggestions on my changes; I'm not wedded to any of text in specific, I just want the two sections to not be so separate and hard to find, especially from each other.

Return guide and manifest to original format, but with additional info

This puts the main "Project Layout" section back into `manifest.md` as it was
before, but adds a bit more detail to that section both those pages and a link
between them.

Moved and expanded project layout

Auto merge of #1730 - alexcrichton:update-docopt, r=alexcrichton

Closes #1720

Update docopt to fix some option parsing

Closes #1720

Auto merge of #1712 - alexcrichton:run-cargo-on-stable, r=brson

This commit moves Cargo onto 100% stable Rust now that the necessary fs features
have been stabilized. The tests were updated to understand when they're running
with a non-nightly compiler and disable all plugin-related tests. The only major
feature here is that the calls to `fs::set_file_times` were reimplemented
manually in the tests that Cargo has.

Cargo still requires a *nightly compiler* due to the stable features not having
made their way into the stable channel yet, but it will soon work on all of the
stable, beta, and nightly compilers once 1.1 is released!

Move Cargo onto stable Rust

This commit moves Cargo onto 100% stable Rust now that the necessary fs features
have been stabilized. The tests were updated to understand when they're running
with a non-nightly compiler and disable all plugin-related tests. The only major
feature here is that the calls to `fs::set_file_times` were reimplemented
manually in the tests that Cargo has.

Cargo still requires a *nightly compiler* due to the stable features not having
made their way into the stable channel yet, but it will soon work on all of the
stable, beta, and nightly compilers once 1.1 is released!

Auto merge of #1715 - iliekturtles:nightly-stable, r=wycats

Change references to the current stable Rust. Also correct Windows
install links to point to the new .msi installers.

I totally removed the nightly paragraph from the FAQ as I couldn't think of anything to replace it with.

Remove references to prefering nightly Rust.

Change references to the current stable Rust. Also correct Windows
install links to point to the new .msi installers.

Auto merge of #1714 - alexcrichton:default-feature-oscillating, r=huonw

There was previously a bug in resolve where turning off the default set of
features would cause resolve to not correctly settle on the set of features
activated for a package. If one dependency turned off all features, and then the
next dependency to be activated only turned on the default feature, the default
feature wouldn't actually end up getting activated.

This commit alters the check to see if the package has been previously activated
to more rigorously check to see if the 'default' feature is activated
previously. If a dependency doesn't use the default feature, or if the package
itself does not have the feature "default", then the package is considered
activated, but otherwise it needs to go through another cycle of resolution.

Fix resolution with `default-features = false`

There was previously a bug in resolve where turning off the default set of
features would cause resolve to not correctly settle on the set of features
activated for a package. If one dependency turned off all features, and then the
next dependency to be activated only turned on the default feature, the default
feature wouldn't actually end up getting activated.

This commit alters the check to see if the package has been previously activated
to more rigorously check to see if the 'default' feature is activated
previously. If a dependency doesn't use the default feature, or if the package
itself does not have the feature "default", then the package is considered
activated, but otherwise it needs to go through another cycle of resolution.

Auto merge of #1713 - eerden:zsh-autocompletion-testnames-fix, r=alexcrichton

Fixes #1703

Disable package completion

Fix bench name completion

Improve autocompletion of test items

Test item autocompletion didn't work because it required the name of the
test to come immediately after [[test]] line. This commit should fix
that.

Fix wrong auto completion for update --precise

--precise argument for the update command was fed test names. This
commit prevents autocompletion of --precise.

Fix error causing test name completion failure

This was caused by a syntax error.

Auto merge of #1709 - alexcrichton:fix-some-overrides, r=brson

The fix in #1697 was to alter the `Hash` implementation of `Package` to take
into account the source root instead of just the package id (so packages at the
same source would have the same hash). There's a spot, however, where we
normalize some paths and not others, causing two paths which logically point the
same location end up having different hashes, so the same package ended up being
stored multiple times, later leading to an assertion that there was only one
stored.

This commit alters the behavior of read_packages to keep a hash map of ID =>
Package instead of just a hash set of Package as the deduplication/equality
needs to be based on the ID, not the literal path to the source root.

This specific bug shows up when you have an override and a normal dependency
pointing at the same location (and the override has some inter-dependencies).
Not exactly a normal use case, but it showed up in Servo's build!

Don't rely on Hash for Package deduplicating

The fix in #1697 was to alter the `Hash` implementation of `Package` to take
into account the source root instead of just the package id (so packages at the
same source would have the same hash). There's a spot, however, where we
normalize some paths and not others, causing two paths which logically point the
same location end up having different hashes, so the same package ended up being
stored multiple times, later leading to an assertion that there was only one
stored.

This commit alters the behavior of read_packages to keep a hash map of ID =>
Package instead of just a hash set of Package as the deduplication/equality
needs to be based on the ID, not the literal path to the source root.

This specific bug shows up when you have an override and a normal dependency
pointing at the same location (and the override has some inter-dependencies).
Not exactly a normal use case, but it showed up in Servo's build!

Auto merge of #1701 - alexcrichton:lenient-rustc-flags, r=brson

Some flags to the compiler could cause it to stop early or not emit some files
altogether (or perhaps emit files in different locations even). Currently cargo
expects a few outputs of the compiler after `cargo rustc` is run, but this
commit alters cargo to know that when `cargo rustc` is being run that the
outputs may not exist and that's ok.

Closes #1675

Auto merge of #1705 - alexcrichton:fix-test-non-root-package, r=brson

The previous overhaul of how dependencies among build dependencies were
traversed ended up picking the wrong root package when the `-p` argument was
specified to commands. This commit fixes this up by making sure the right root
package is passed along.

Auto merge of #1704 - JustAPerson:doc_codegen_units, r=alexcrichton

Closes #1691

Fix testing the non-root package

The previous overhaul of how dependencies among build dependencies were
traversed ended up picking the wrong root package when the `-p` argument was
specified to commands. This commit fixes this up by making sure the right root
package is passed along.

Document the `codegen-units` manifest option

Closes #1691

Auto merge of #1702 - alexcrichton:fix-traverse-build-deps, r=brson

It looks like the recent restructuring into an O(N) pass had a regression
(reported in #1695) where deps-of-deps didn't have their build script arguments
propagated upwards. This fixes the caching logic to take into account the
profile as part of the key to ensure that we traverse targets twice if
necessary.

Closes #1695

Fix propagation of build script args

It looks like the recent restructuring into an O(N) pass had a regression
(reported in #1695) where deps-of-deps didn't have their build script arguments
propagated upwards. This fixes the caching logic to take into account the
profile as part of the key to ensure that we traverse targets twice if
necessary.

Closes #1695

Handle missing files after `cargo rustc`

Some flags to the compiler could cause it to stop early or not emit some files
altogether (or perhaps emit files in different locations even). Currently cargo
expects a few outputs of the compiler after `cargo rustc` is run, but this
commit alters cargo to know that when `cargo rustc` is being run that the
outputs may not exist and that's ok.

Closes #1675

Auto merge of #1697 - alexcrichton:fix-path-pkgid, r=brson

The method of creating package ids in Cargo means that all sub-crates of a main
repo have the same package id, which encodes the path it came from. This means
that if the "root crate" switches, the package id for all dependencies will
change, causing an alteration in package id hashes, causing recompiles.

This commit alters a few points of hashing to ensure that whenever a package is
being hashed for freshness the *source root* of the crate is used instead of the
root of the main crate. This cause the hashes to be consistent across compiles,
regardless of the root package.

Closes #1694

Fix spurious rebuilds when switching source paths

The method of creating package ids in Cargo means that all sub-crates of a main
repo have the same package id, which encodes the path it came from. This means
that if the "root crate" switches, the package id for all dependencies will
change, causing an alteration in package id hashes, causing recompiles.

This commit alters a few points of hashing to ensure that whenever a package is
being hashed for freshness the *source root* of the crate is used instead of the
root of the main crate. This cause the hashes to be consistent across compiles,
regardless of the root package.

Closes #1694

Auto merge of #1693 - durka:patch-1, r=steveklabnik

I was confused by the double-asterisk syntax in the glob. I figured it couldn't hurt to unobtrusively document what the format is.

doc: add link to glob::glob::Pattern

I was confused by the double-asterisk syntax in the glob. I figured it couldn't hurt to unobtrusively document what the format is.

Clone less with an extra `Registry` impl

Remove redundant storage of source id in Package

The package already has access to the source through the stored manifest's
package ID.

Auto merge of #1682 - yoongkang:new_error_msg, r=alexcrichton

Some project names caused problems as
they already exist in target/debug. When
the projects fail to be created, the error
message was also not descriptive.

This commit adds a blacklist and a more
descriptive error message.

See #1618.

Auto merge of #1687 - huonw:dev-dep-doc-test, r=alexcrichton

Previously a dependency cycle like `a` <-(normal)- `b` <-(dev)- `a`
would mean that importing `b` in `a`'s doc test would fail because the
original `a` library was not found.

Fixes #1686.

test: point doc tests to the main library, for cyclic deps.

Previously a dependency cycle like `a` <-(normal)- `b` <-(dev)- `a`
would mean that importing `b` in `a`'s doc test would fail because the
original `a` library was not found.

Fixes #1686.

Blacklist binary target names

Some binary targets caused problems as
the directory names exist in target/debug. When
the compilation step fails, the error
message was also not descriptive.

This commit adds a blacklist and a more
descriptive error message.

See #1618.

Auto merge of #1657 - alexcrichton:share-target-dirs, r=brson

This commit adds support to allow specifying a custom output directory to Cargo.
First, the `build.target-dir` configuration key is checked, and failing that the
`CARGO_TARGET_DIR` environment variable is checked, and failing that the root
package's directory joined with the directory name "target" is used.

There are a few caveats to switching target directories, however:

* If the target directory is in the current source tree, and the folder name is
  not called "target", then Cargo may walk the output directory when determining
  whether a tree is fresh.
* If the target directory is not called "target", then Cargo may look inside it
  currently for `Cargo.toml` files to learn about local packages.
* Concurrent usage of Cargo will still result in badness (#354), and this is now
  exascerbated because many Cargo projects can share the same output directory.
* The top-level crate is not cached for future compilations, so if a crate is
  built into directory `foo` and then that crate is later used as a dependency,
  it will be recompiled.

The naming limitations can be overcome in time, but for now it greatly
simplifies the crawling routines and shouldn't have much of a negative impact
other than some Cargo runtimes (which can in turn be negated by following the
"target" name convention).

Closes #482

Auto merge of #1685 - mbrubeck:ndebug, r=alexcrichton

The "ndebug" cfg directive was removed in #1444.

[docs] Remove mention of --cfg ndebug

The "ndebug" cfg directive was removed in #1444.

Auto merge of #1680 - steveklabnik:gh1679, r=alexcrichton

Fixes #1679

Remove outdated FAQ entry

Fixes #1679

Auto merge of #1668 - alexcrichton:perf, r=alexcrichton

Playing around with Servo recently I realized that a "noop build" (e.g. `cargo build` had no work to do) took about 5s to complete on my machine! I wasn't super happy with this performance, so I investigated the performance and applied a number of optimizations as part of this PR:

* Primarily, algorithmic changes were made to not traverse the dependency graph too often. There were previously two code paths where each node in the graph would traverse its entire subgraph, causing excessively high runtimes.
* Many minor changes were made to reduce allocations and in general cache results between invocations.
* The Rust version in use was updated to pick up the recent change to look at `DT_DIR` for `DirEntry::file_type`

Overall this PR improves a noop build of Servo from 5s to 0.5s on my machine.

Update rust-url to improve hash/cmp performance

Both no longer require allocations!

Auto merge of #1678 - chris-morgan:master, r=alexcrichton

This regression, introduced in d3f590f59ff72f1d3b457ed3716483ce472053c6 in #1674, caused `make` to fail on machines where `python` is Python 3 rather than Python 2, because `dict.keys()` returns a set-like object that does not support indexing rather than a list.

`date = next(iter(snaps.keys()))` would be an adequate fix too, but I’m not particularly happy with either of them, for neither would stand up to the removal of the `break` statement: one is inadequate because dictionaries are unordered collections, the other is inadequate because `current` would refer to the *last* rather than the *first* snapshot in the file.

Fix snapshot downloading on Python 3

This regression, introduced in d3f590f59ff72f1d3b457ed3716483ce472053c6
in #1674, caused `make` to fail on machines where `python` is Python 3
rather than Python 2, because `dict.keys()` returns a set-like object
that does not support indexing rather than a list.

`date = next(iter(snaps.keys()))` would be an adequate fix too, but I’m
not particularly happy with either of them, for neither would stand up
to the removal of the `break` statement: one is inadequate because
dictionaries are unordered collections, the other is inadequate because
`current` would refer to the *last* rather than the *first* snapshot in
the file.

Cache the canonical URL for a source

This avoids reallocating and recalculating it on each call to
SourceIdInner::{eq, hash}, which are called quite often in the backend.

Optimize SourceId::cmp a bit

Optimize crawl_build_deps to not re-traverse deps

This function previously, for each dependency, traversed the entire dependency
graph. This ended up taking quite a bit of time as a huge amount of hashing was
being done (each of which is somewhat nontrivial). This commit alters the logic
to instead precompute a table of all the native dependencies that each crate
will need, traversing the dependency graph only once instead of repeatedly.

This commit takes a noop build of Servo from 2.1s to 0.4s

Don't allocate in PackageId::hash

This hash function is called an enormous number of times in `cargo_rustc`, so
optimizing it is fairly important, and it's also quite trivial to not allocate a
string at all (`semver::Version::hash` already does everything we need).

Update the Rust snapshot used

At least one important I/O related perf fix has landed on nightly (reading
`DT_DIR` for `DirEntry::file_type`) and there are a few other assorted bug fixes
which are being picked up.

Switch from a custom MTime to the filetime crate

The crate provides the same functionality necessary for Cargo, but it's
maintained elsewhere now.

Don't recurse so often in the dependency graph

Prior to this commit the entire dependency tree would be traversed many, many
times as the short circuits weren't applying fast enough. This commit modifies
the recursion to only happen if the target in question was actually compiled.

This commit saw a noop build time for Servo drop from 4.5s to 2.5s.

Implement caching among fingerprint resolutions

This commit adds support for caching the resolved value of a fingerprint among
calls to `resolve`. Due to the recursive nature of a fingerprint, it means that
`resolve` is currently executed a very large number of times for packages which
at transitively dependend up on many times. By caching the returned value of a
fingerprint we're able to prevent extraneous calls into the filesystem or
extraneous hashing.

This also adds an `Arc` to share a `Fingerprint` among all its dependencies as
each fingerprint stores a list of fingerprints that it depends on, and if
they're not shared then the cache isn't exactly the most helpful!

For a noop `cargo build` on Servo (e.g. everything was already built), this
decreased Cargo's runtime from 5s to ~4.5s

Fix erronous cfg directive

Auto merge of #1674 - wca:add-freebsd-snapshot, r=alexcrichton

This branch includes a change to dl-snapshot.py that makes it less directly linked to the format of snapshots.txt, and also adds an initial FreeBSD x86_64 cargo snapshot.  The original URL for my snapshot is:

http://people.freebsd.org/~will/public_distfiles/cargo-nightly-x86_64-unknown-freebsd.tar.gz

SHA256: de678e858de5d2923cc206b7aa1cc84ddc67be00748160f66fc9b7325409e7c7

Restore the original triple split.

Auto merge of #1664 - IvanUkhov:is-dir, r=alexcrichton

The pull request addresses issue #1663. The problem is that `libgit2` [combines][1] `S_IFDIR ` with `S_IFLNK`, and, therefore, the [strict comparison][2] based on `S_ISDIR` rejects directories.

Regards,
Ivan

[1]: https://github.com/libgit2/libgit2/blob/47f37400253210f483d84fb9c2ecf44fb5986849/src/index.c#L308
[2]: https://github.com/rust-lang/cargo/blob/06dbe6555a4a15f5912bbfc841d446dad4d417cc/src/cargo/sources/path.rs#L150

Add initial FreeBSD x86_64 cargo snapshot.

Make fewer assumptions about snapshots.txt format.

- Read the file into a nested dictionary instead of variables.
- Only apply special cases where they are really needed.
- Apply a transform to the triple argument to get the platform name to
  determine whether there is a snapshot available for it.
- Apply a similar (but slightly different) transform to get the snapshot's
  file name.  It would be better if the file name matched the platform name
  in snapshots.txt, but it's too late for that now (older versions of this
  script will certainly expect the existing name format).

shell_escape: Only add quotes if it contains spaces

Fix the detection of directories when listing files using libgit2

tests: add a test for submodule packaging

Shell Escape for Windows

With great help from @retep998

tests: move Git-related routines to support